El nuevo modelo o3 de OpenAI ha logrado resultados sorprendentes en la prueba de referencia ARC-AGI, alcanzando una puntuación del 75.7% en condiciones de cálculo estándar y un 87.5% en la versión de alto cálculo. Este logro ha sorprendido a la comunidad investigadora de IA, aunque no prueba que la inteligencia artificial general (AGI) haya sido resuelta. La prueba de referencia ARC-AGI se basa en el Corpus de Razonamiento Abstracto (Abstract Reasoning Corpus) y está diseñada para evaluar la capacidad de los sistemas de IA para adaptarse a nuevas tareas.

Recientemente, los investigadores del equipo Qwen de Alibaba presentaron una nueva prueba de referencia llamada "PROCESSBENCH", diseñada para medir la capacidad de los modelos de lenguaje para identificar errores de proceso en el razonamiento matemático. Con los notables avances de los modelos de lenguaje en tareas de razonamiento complejo, los investigadores en este campo han descubierto que, a pesar del excelente rendimiento de los modelos, todavía enfrentan desafíos al abordar ciertos problemas difíciles. Por lo tanto, desarrollar un método de supervisión eficaz es de suma importancia. Actualmente, las pruebas de referencia para la evaluación de modelos de lenguaje presentan algunas deficiencias.

Geekbench AI es una nueva herramienta multiplataforma diseñada para evaluar cargas de trabajo intensivas en IA. Mide la capacidad del dispositivo para manejar aplicaciones de IA al evaluar la CPU, la GPU y la NPU, y admite varios frameworks de aprendizaje automático. Geekbench AI proporciona puntuaciones de precisión completa, media precisión y cuantificada, junto con una evaluación de precisión para ayudar a los usuarios a comprender la precisión con la que un modelo realiza una tarea. Disponible para Windows, macOS, Linux y Android.

Geekbench AI es una herramienta multiplataforma completamente nueva para evaluar el rendimiento de los dispositivos en cargas de trabajo intensivas, con especial atención a las tareas de aprendizaje automático. Ofrece puntuaciones de precisión completa, media precisión y cuantificación midiendo el rendimiento de la CPU, la GPU y la NPU, e incluye una evaluación de precisión. Admite varios frameworks de aprendizaje automático, incluyendo ONNX, CoreML, TensorFlow Lite y OpenVINO. Esta herramienta es compatible con Windows, macOS, Linux, Android e iOS.

Google ha presentado Gemini, un nuevo sistema de inteligencia artificial que ha demostrado un rendimiento excepcional, superando a los modelos existentes en varias pruebas de referencia. Gemini, desarrollado por Google DeepMind, admite múltiples modalidades, incluyendo texto, imágenes, audio, vídeo y código. Se ofrecen tres versiones de Gemini, optimizadas para diferentes casos de uso. En comparación con la competencia, Gemini ha avanzado en la reducción de la brecha de rendimiento. La naturaleza multifuncional de Gemini le otorga un potencial de comercialización en áreas como los servicios en la nube.